yacystats Neuauflage?

was weder zu YaCy noch zum Thema Suchmaschinen gehört

yacystats Neuauflage?

Beitragvon Erik_S » Do Sep 11, 2014 8:46 am

Hallo,

ich habe die vergangenen Tage einen kleinen YaC-Tracker (eigentlich ein YaCy-Stalker) geschrieben der alle öffentlich erreichbaren YaCy-Peers analysiert. In dem Programm fehlt zwar noch einiges aber es gibt bereits erste interessante Analyse-Ergebnisse:
  • die überwiegend meisten Peers kennen nur etwa 300 andere Peers, nur ganz wenige Peers (die man an einer Hand abzählen kann) kennen deutlich mehr als 300 andere Peers, bis zu knapp 1000, ob es da ein Problem im Peer-to-Peer-Management-Algorithmus gibt der die Begrenzung auf etwa 300 verursacht habe ich noch nicht geprüft aber das werde ich demnächst mal machen
  • die meisten Peers innerhalb so einer 300er-Wolke scheinen auch nur einander zu kennen aber das muss ich erst noch genauer analysieren (mit einer echten Wer-kennt-Wenn-Analyse), falls das wirklich zutrifft könnte das auf Probleme im Peer-to-Peer-Management-Algorithmus hindeuten
  • nach über 12 Stunden Laufzeit hat mein Tool nur knapp 1300 YaCy-Peers gefunden, leider war davon ein recht großer Anteil (wahrscheinlich >50%) nicht erreichbar, also gerade Offline o.ä.
das trifft aber nur die YaCy-Peers die mindestens Senior-Status haben, Juniors kann ich natürlich nicht direkt kontaktieren so das diese hierbei nicht auftauchen.

Der Grund dafür das ich dieses Tool überhaupt angefangen habe ist das ich den Peer-to-Peer-Mechanismus gerne besser verstehen möchte und nichts ist besser als "learning by doing", darüber hinaus soll dieses Tool einen UDP-Socket auf Port 53 bekommen und als DNS-Server für die beiden Top-Level-Domains .yacy und .yacyh arbeiten.

Neben den für mich wichtigen Gründen kann dieses Tool aber sicher auch wertvolle Statistiken und Analysen über das YaCy-Netzwerk ermitteln und diese Ergebnisse möchte ich mit Euch Teilen.
Ich hätte dazu gerne möglichst zahlreiche Antworten ob sowas gewünscht ist und falls ja was für Informationen für Euch interessant wären.

Ich habe z.B. vor zu jeder IP-Adresse den Standort zu ermitteln, zumindest auf Länderebene, um daraus eine Statistik über die weltweite Verteilung von YaCy generieren zu können. Die IP-Adressen selber will ich aber definitiv nicht publizieren.

Ich habe zwar Web-Space auf dem ich diese Statistiken regelmäßig (z.B. einmal pro Stunde) hochladen kann aber da die meisten sicher keine nackten Text-Dateien lesen sondern lieber nette Graphiken sehen wollen könnte ich Hilfe gebrauchen, z.B. von jemanden der sich mit PHP auskennt, um daraus auch wirklich eine ansprechende Web-Site zu machen.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon flegno » Do Sep 11, 2014 9:12 am

Erik_S hat geschrieben:Ich hätte dazu gerne möglichst zahlreiche Antworten ob sowas gewünscht ist und falls ja was für Informationen für Euch interessant wären.
Ja
Erik_S hat geschrieben:Ich habe z.B. vor zu jeder IP-Adresse den Standort zu ermitteln, zumindest auf Länderebene, um daraus eine Statistik über die weltweite Verteilung von YaCy generieren zu können. Die IP-Adressen selber will ich aber definitiv nicht publizieren.

Ich habe zwar Web-Space auf dem ich diese Statistiken regelmäßig (z.B. einmal pro Stunde) hochladen kann aber da die meisten sicher keine nackten Text-Dateien lesen sondern lieber nette Graphiken sehen wollen könnte ich Hilfe gebrauchen, z.B. von jemanden der sich mit PHP auskennt, um daraus auch wirklich eine ansprechende Web-Site zu machen.

Das klingt spannend :). Mir schwebt hier eine Lösung vor, die dafür sorgt, dass die Standort-Statistiken auf der OpenStreetmap abgebildet werden. Ich recherchiere und melde mich hier demnächst dazu, wie die Schnittstelle aussieht bzw. in welchem Format Daten für so eine Visualisierung vorliegen müssen.

Gruss, Gustav
Zuletzt geändert von flegno am Sa Sep 13, 2014 6:03 pm, insgesamt 1-mal geändert.
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: yacystats Neuauflage?

Beitragvon Erik_S » Do Sep 11, 2014 2:38 pm

Hallo,

flegno hat geschrieben:Ja
Okay, und was willst Du alles sehen? Wie detailliert sollten Deiner Meinung nach einzelne Peers getrackt bzw. gestalkt werden?

Für IP-GeoLocation hab ich http://dev.maxmind.com/geoip/legacy/geolite/ bzw. http://dev.maxmind.com/geoip/geoip2/geolite2/ gefunden, ist immerhin frei verfügbar. Also wenn OpenStreetmap mit Längengrad/Breitengrad umgehen kann dann passt das. GeoLocation hat für mich aber momentan nicht die höchste Priorität, erstmal will ich dass das Tracken möglichst gut funktioniert und ich präzise Aussagen über das Verhalten des Peer-to-Peer-Netzwerks ansich bekomme.

Andere Wünsche oder Vorstellungen zu diesem Thema?

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Erik_S » Sa Sep 13, 2014 10:38 am

Hallo,

nur ein einziger Interessent?
Schade.

Hat niemand etwas zu den Infos zu schreiben die ich bereits über das Peer-to-Peer-Verhalten von YaCy herausgefunden hab?
In einem Testlauf vergangene Nacht wurden gut 1400 YaCy-Peers gefunden (Juniors wurden natürlich wieder komplett ignoriert, also das gesamte YaCy-Netz ist sicher deutlich größer) von denen aber nur gut 20% tatsächlich ansprechbar waren. Entweder waren die IP-Adressen schon stark veraltet oder es gibt einen anderen Grund dafür, das will ich dieses Wochenende genauer analysieren. Auch möchte ich dieses Wochenende noch eine echte Beziehungsanalyse implementieren, ich möchte dazu zufällige Paare die sich gegenseitig kennen (also wo beide den jeweils anderen in der eigenen Seed-Liste aufführen) ermitteln und dann beide Seed-Listen verodern (ohne Dupletten) und prüfen wie viele Peers in beiden Seed-Listen auftauchen. Falls das ein hoher Prozentwert ist bedeutet dass das die YaCy-Peers tatsächlich primär im eigenen Bekanntenkreis bleiben was auf eine Bildung von Teil-Wolken hinausläuft die jeweils nur über wenige Peers miteinander verbunden sind, so ein Verhalten hat das Problem das beim plötzlichen Verlust der wenigen Verbindungs-Peers (wenn diese z.B. plötzlich Offline gehen) das Netz in mehrere Teilnetze zerbrechen könnte. Ich hoffe das ich dazu spätestens Montag oder Dienstag mehr schreiben kann.

Des weiteren hat mein Tracker eine Reihe an Kollisionen gefunden, also Peers die zwar identischen Namen aber verschiedene Hashs oder identische Hashs aber verschiedene Namen haben. Ein paar dieser Kollisionen bin ich händisch nachgegangen und einige laufen wohl darauf hinaus das der Peer einfach unbenannt wurde (bei identischen Hashs) oder der Peer vermutlich neu installiert wurde (bei identischen Namen) aber mir fehlt noch die passende Idee wie ich das per Programm-Code ermitteln soll damit das Tracker-Programm automatisch eine Entscheidung treffen kann wie mit den Kollisionen individuell zu verfahren ist. Doppelte Peers möchte ich nicht in meiner Datenbank haben, das macht auch für den Zweck als DNS-Server keinen Sinn. Gibt es zu diesem Problem Vorschläge?

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Orbiter » Sa Sep 13, 2014 4:52 pm

ich finde das gut was du machst. Ich weiss zwar nicht wie du die 1400 Peers gefunden hast, aber das können halt 'Ausprobierer' oder 'ich starte das nur wenn ich Suche'-Leute sein.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacystats Neuauflage?

Beitragvon Erik_S » Sa Sep 13, 2014 6:03 pm

Hallo,

Orbiter hat geschrieben:ich finde das gut was du machst.
Das freut mich, somit es also schon mal zwei Interessenten.
Was möchtest Du denn alles an Informationen über das YaCy-Netzwerk bekommen?
Ich denke die Programmierer könnten sich z.B. über eine Auflistung der verwendeten Versionen freuen, eventuell zusammen mit einer kleinen Statistik wie häufig die Version sich bei den Peers ändert. Da ich die Peers aus meiner Datenbank erst nach längerer Abwesenheit (mindestens 1 Monat) entfernen möchte könnte man so auch die YaCy-Versionen der Gelegenheitsnutzer erfassen. Aber es wäre auch möglich zu sehen wie viele Peers die Versionen z.B. mindestens einmal pro Woche ändern um so abschätzen zu können wie schnell sich neue Features verbreiten bzw. wie viele Leute es gibt die eventuelle Bugs relativ frühzeitig melden könnten.

Orbiter hat geschrieben:Ich weiss zwar nicht wie du die 1400 Peers gefunden hast
Das ist einfach die Summe der Peer-Listen aller verfügbaren/ansprechbaren Peers. Die meisten Peers liefern eine Liste mit etwa 300 anderen Peers aber ein paar wenige (wirklich ganz wenige) kommen bis knapp 1000 andere Peers.

Orbiter hat geschrieben:aber das können halt 'Ausprobierer' oder 'ich starte das nur wenn ich Suche'-Leute sein.
Ja, das würde auch den hohen Anteil an nicht erreichbaren Peers erklären.

Leider liefern die frei verfügbaren IP-GeoLocation-Services nicht ob die IP eine dynamische IP (z.B. von einem klassischen Internet-Provider für Privatkunden) oder eine statische IP (z.B. von einem Hosting-Anbieter für richtige Server) ist, ich denke das gerade diese Info zur Beurteilung der Peers recht interessant wäre aber leider wollen alle Anbieter für diese Info Geld sehen. Wenn also jemand eine kostenlose Alternative kennt wäre ich für Tipps sehr dankbar.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: dynamische/statische IP - Umfrage mit den YaCy-Bordmitte

Beitragvon flegno » So Sep 14, 2014 8:01 am

Erik_S hat geschrieben: ... ob die IP eine dynamische IP (z.B. von einem klassischen Internet-Provider für Privatkunden) oder eine statische IP (z.B. von einem Hosting-Anbieter für richtige Server) ist, ich denke das gerade diese Info zur Beurteilung der Peers recht interessant wäre aber leider wollen alle Anbieter für diese Info Geld sehen. Wenn also jemand eine kostenlose Alternative kennt wäre ich für Tipps sehr dankbar.

Wenn man die Angelegenheit abstrakt betrachtet, besteht die Möglichkeit, bei allen Peers im jeweiligen YaCy-Netzwerk softwaregestützt und mit YaCy-Bordmitteln _direkt_ und kostenlos diese Info abzufragen - :idea: YaCy-Umfrage.
  1. Active Principal and Senior Peers in 'freeworld' Network
  2. Wie tausche ich Nachrichten im YaCy-Netzwerk aus?
Und wenn diese Funktionalität realisiert ist, kann YaCy zu DEM Spam-Netzwerk nominiert werden - GfK SE Marktforschungsinstitut lässt grüßen ( :ducken :roll: ) .
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: yacystats Neuauflage?

Beitragvon Orbiter » So Sep 14, 2014 10:54 am

keine Panik, zu 1) Netzpropagierung muss ja sein sonst funktioniert p2p nicht und 2) hat eine uralte Funktion eingebaut wo der sendende Peer erst eine Erlaubnis zum Senden von Nachrichten beim Empfänger anfragt und dann erst sendet. Diese Funktion ist zwar zur Zeit so geschaltet dass die 'Sendelizenz' immer erteilt wird, aber das kann man ja ändern.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacystats Neuauflage?

Beitragvon flegno » So Sep 14, 2014 3:42 pm

Orbiter hat geschrieben:Diese Funktion ist zwar zur Zeit so geschaltet dass die 'Sendelizenz' immer erteilt wird, aber das kann man ja ändern.

Zum Verständnis - die standardmäßige Zu- bzw. Abschaltung der 'Sendelizenz'-Erteilung ist eine Einstellung in irgendeiner conf-Datei?
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: yacystats Neuauflage?

Beitragvon DJaeger » Mo Sep 15, 2014 9:49 am

Hallo zusammen,

ich bin von einem Fan dieses Vorhabend um Tips und Rat gebeten worden bezüglich der Geolokalisierung und Karten-Visualisierung der Peers da ich bereits etwas Erfahrung mit Ähnlichem habe.
Da mich das Prokekt YaCy, sowie das Vorhaben der Visualierung der Daten, interessiert, bot ich meine Hilfe/Mitarbeit an.
Mir wurde gesagt, dass ich dazu am besten mal hier nachfrage.

Wenn ich eine Schnittstelle (z.B. JSON) zur Abfrage der Daten (Primär die IPs) bekomme kann ich gerne eine Karte basteln.
Vielleicht könnte man sogar die Anzeige um die Verbindungen (Wer kennt Wen) erweitern.

Da ich viel Mobil arbeite und das Forum dazu leider völlig ungeeignet ist, wäre es schön, wenn mir jemand (Erik) eine Möglichkeit (E-Mail z.B.) nennt, über die man besser mobil kommunizieren kann.
DJaeger
 
Beiträge: 1
Registriert: So Sep 14, 2014 11:40 pm

Re: yacystats Neuauflage?

Beitragvon Erik_S » Mo Sep 22, 2014 10:26 am

Hallo,

sorry das ich mich letzte Woche hier nicht gemeldet habe, ich war ganz unverhofft sehr weit weg.

An meinem Tool habe ich trotzdem etwas weitergearbeitet aber ich kämpfe momentan noch damit unplausible Peers auszufiltern und mit Kollisionen (z.B. verschiedene Peers mit gleichen Namen aber unterschiedlichen Hashs) korrekt umzugehen.

Da nun wohl doch zumindest eine rudimentäre Übersicht direkt in YaCy integriert werden soll stellt sich die Frage ob es noch Interesse gibt zumindest eine Weltkarte mit allen erreichbaren YaCy-Peers (also >= Seniors) anzubieten. Falls ja dann werde ich auf jeden Fall keine Liste mit IP-Adressen sondern mit Längengrad und Breitengrad bieten, das Format dieser Liste darf frei definiert werden. Ich würde mir wünschen das mein Tool regelmäßig (z.B. alle 2 Stunden) auf einem Web-Server ein PHP/Python/sonstwas-Script aufruft und die Liste per HTTP-POST übermittelt und dieses Script dann die Weltkarte als Graphik (bevorzugt SVG) ablegt, auf diese Weise würde der CPU-intensive Teil nur dann ausgeführt wenn tatsächlich eine neue Liste kommt. Zu allem was auf diesem Web-Server läuft wäre ich über Hilfe auf jeden Fall dankbar und Bitte einfach mal um konkrete Vorschläge wie sowas zu realisieren ist.
Die Diskussion zu diesem Thema möchte ich trotzdem gerne hier im Forum führen auch wenn es hin und wieder mal zu Verzögerungen kommt, schon weil ich persönlich es nicht so mag wenn solche Dinge auf nicht öffentlichen Wegen ablaufen.

Das mit der "Wer kennt Wen" Analyse dient eher dem Finden von Problemen im YaCy-Peer-Netzwerk-Algorithmus und ist nicht zur öffentlichen Zurschaustellung gedacht, nebst dessen das der normale User damit kaum etwas anfangen können wird und das wenn der Algorithmus in YaCy gut arbeitet es auch nichts interessantes zu sehen gibt weil dann jeder jeden kennt.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Erik_S » Di Sep 23, 2014 5:52 pm

Hallo,

ich habe diesen Thread ja auch gestartet um die Ergebnisse meiner Analysen des YaCy-Peer-to-Peer-Netzwerks mit Euch zu teilen, also:
  • mein letzter Testlauf hat über 1600 Peers gefunden aber nur knapp 20% davon sind auch tatsächlich ansprechbar, unter den nicht ansprechbaren Peers waren jene mit Namen wie "_anonw????" oder "_anufe????" überproportional häufig vertreten (wenn ich irgendwann mal Zeit übrig habe mache ich vielleicht eine Analyse der Namensverteilung ;))
  • die überwiegend meisten Peers (von denen die wirklich ansprechbar sind) kennen nur etwa 300 andere Peers, zu einer vollständigen Wer-kennt-Wenn-Analyse bin ich leider noch nicht gekommen
  • Peers die einen Domain-Namen (meistens einen der üblichen DynDNS-Dienste) als öffentliche IP-Adresse angeben werden derzeit von meinem Tool noch ignoriert aber das sind so weit ich sehen konnte nur knapp 20 Peers, dürfte also meine bisherige Statistik nur minimal verfälschen, diser Punkt steht als nächstes auf meiner ToDo-Liste

leider gibt es auch massive Probleme in den Seed-Listen einiger Peers:
  • einige Peers liefern als LastSeen für sich selbst und andere Peers Zeitpunkte die in der Zukunft liegen, ich vermute mal das diese Peers auf PCs laufen bei denen die Uhr nicht richtig geht,
    Problematisch ist das sich diese Zeitwerte offensichtlich auch zu anderen Peers rumsprechen (selbst wenn diese Peers offensichtlich die korrekte Zeit kennen),
    Wäre es eine Möglichkeit Peers die für sich selber ein LastSeen-Datum in der Zukunft liefern eventuell eine Nachricht zukommen zu lassen die freundlich darauf hinweist das die Uhr eventuell falsch geht?
    ein Peer-to-Peer-Netzwerk ist auf eine synchrone Zeitbasis essentiell angewiesen so das diesem Punkt meiner Meinung nach etwas Aufmerksamkeit gewidmet werden sollte
  • manchmal liegt der Zeitpunkt von LastSeen aber auch sehr weit in der Vergangenheit, manchmal sogar noch vor BDate,
    selbst für den von mir selber betriebenen YaCy-Peer habe ich von anderen YaCy-Peers solche Meldungen bekommen (der von mit betriebene YaCy-Peer hat aber bei allen Anfragen ein korrektes LastSeen-Datum geliefert, nebst dessen das dort die Uhr stündlich per NTP nachgestellt wird also ganz sicher die Uhrzeit stimmt), einige male habe ich als LastSeen einen Wert mitte August bekommen wogegen das BDate mit Anfang September korrekt war (mitte August wusste ich noch nicht mal das YaCy existiert) so das ich davon ausgehe das es irgendwo im YaCy-Code einen Bug gibt der das LastSeen-Datum einfach mal um mehr als einen Monat zurückstellt
  • es sind vereinzelt in den Peer-Listen andere Peers mit nicht öffentlich erreichbaren IP-Adressen (also 127.0.0.1 oder 10.?.?.? oder 192.168.?.?) enthalten und trotzdem werden diese Peers mit dem Status Senior aufgeführt, ich weiß zwar nicht ob das dadurch kommt das es User gibt die solche IPs als "statische IP" konfigurieren oder ob es in YaCy Code gibt der wirklich glaubt das eine derartige IP die öffentliche IP des betreffenden Peers ist aber besonders ungünstig finde ich das andere Peers solche Seed-Listen-Einträge offensichtlich in die eigene Datenbank mit aufnehmen und auch weitergeben
zusammenfassend muss ich leider feststellen das es wohl so gut wie keine Plausibilitätstests o.ä. in YaCy gibt, zumindest im Peer-to-Peer-Netzwerk-Management.
Ich möchte daher noch einmal meine Hilfe und Mitarbeit für die Beseitigung dieser Probleme anbieten!

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Erik_S » Fr Sep 26, 2014 11:13 am

Hallo,

da mein Tool nun stündlich eine kleine rudimentäre Statistik ausgibt ein paar neue Infos:
  • es werden zwischen 207 und 232 ansprechbare Peers gefunden, diese Zahl schwankt mit der Tageszeit ein klein wenig aber blieb die vergangenen 48 Stunden in diesem Rahmen
  • insgesamt wurden knapp 1500 verschiedene Peers in den Seed-Listen der ansprechbaren Peers gefunden, diese Zahl steigt kontinuierlich aber langsam
  • mit meiner letzten Schätzung der Peers die einen Domain-Namen als öffentliche IP-Adresse benutzen lag ich etwas daneben, es sind nur 6 oder 7
  • das die meisten Peers etwa 300 andere Peers kennen und nur ganz wenige deutlich mehr (bis zu 1000) ist so geblieben
Eine wesentliche Änderung gegenüber von vor 3 Tagen ist das mein Tool nun nicht mehr zufällig einen Peer auswählt um diesen zu kontaktieren sondern alle Peers in alphabetischer Reihenfolge reihum kontaktiert, damit ist sichergestellt das die Statistik auch wirklich aussagekräftig ist und kein neuer Peer unberücksichtigt bleibt. Als nächstes möchte ich diesen Mechanismus auf 2 unabhängige Threads verteilen: einen der nur die erreichbaren und neuen Peers (deren Erreichbarkeit noch unbekannt ist) und einen der alle anderen Peers reihum kontaktiert, auf diese Weise erhoffe ich mir deutlich schneller auf Veränderungen an den tatsächlich aktiven Peers (z.B. neue IP-Adresse) reagieren zu können.

Wäre es arg prahlerisch wenn ich erwähne das mein Tool weniger als 400 kB (ja wirklich Kilo-Bytes und das für alles inklusive Peer-Datenbank und Programm-Code und Stack usw.) RAM belegt und pro 24 Stunden Laufzeit nur etwa 30 Sekunden CPU-Zeit (auf einem 32Bit Pentium-M mit 1,6 GHz) benötigt?

Trotz dessen das mein Tool nun besser mit Kollisionen und ähnlichen Problemen umgehen kann gibt es in den Peer-Listen aber immer noch einige Probleme:
  • die Zeit LastSeen bei einigen anderen Peers liegt in den Peerlisten von manchen Peers in der Zukunft oder weit in der Vergangenheit wohingegen die selben Peers in den Listen anderer Peers mit plausiblen Zeiten versehen sind, ich meine damit das z.B. Peer A für die Peers F...Z unplausible LastSeen-Zeiten meldet wohingegen Peer B für die selben Peers F...Z plausible LastSeen-Zeiten meldet, ich vermute daher das irgendwo beim Handling dieser Zeitstempel noch ein Bug in YaCy enthalten ist der aber nur sporadisch auftritt
  • manchmal liegt die LastSeen-Zeit sogar noch vor der BDate-Zeit, die Einträge mit den so markierten Peers verschwinden aber nach einiger Zeit wieder, gezielt beobachtet habe ich das für den von mir selber betriebenen YaCy-Peer und einem mit dem Namen ramfresser (die Werte von BDate waren in beiden Fällen korrekt und auch die Peers selber haben für sich selbst korrekte LastSeen-Zeit geliefert)
  • manche Peers liefern auch für sich selbst unpassende LastSeen-Zeiten aber ich denke das ist kein Bug in YaCy sondern diese Peers (es sind auch immer die selben) haben einfach eine falsch gehende Uhr im PC, trotzdem wäre es toll wenn z.B. das Servlet für /Status.html die lokale Zeit mit der von einem Zeit-Server vergleicht und bei zu großen Abweichungen (z.B. mehr als +/- 1 Minute) eine deutliche Warnung in die Seite einfügt, zum korrekten Funktionieren einer verteilten Liste die sich über die Zeit ändert ist es sehr wichtig das alle Teilnehmer eine halbwegs identische Zeitbasis haben, das Nachstellen der PC-Uhr durch YaCy halte ich für unpraktisch da erstens die Java-VM gar nicht über die nötigen Rechte verfügen dürfte und zweitens es auf dem PC möglicherweise bereits einen Mechanismus gibt der die Uhr regelmäßig stellt (und der Fehler eventuell aus einer Verwechslung zwischen UTC und lokaler Zeit kommt o.ä.)
  • neben nicht global routbaren IP-Adressen habe ich auch mehrmals gesehen das Peers gemeldet werden deren IP-Adresse leer ist, die entsprechende Zeile in der Seedlist besteht dann wirklich nur aus
    "IP":"",
    das ist meiner persönlichen Auffassung nach ein Bug und sollte ebenfalls behoben werden (genauso wie das mit den privaten IP-Adressen)
Es sind also noch ein Paar Probleme in YaCy enthalten, falls ich zu spezifischen Details konkretere Daten liefern soll dann Bitte einfach Bescheid geben, ich würde gerne dabei helfen YaCy zu verbessern.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Erik_S » So Sep 28, 2014 12:24 pm

Hallo,

die auf multithreading geänderte Programmversion läuft nun seit mehr als 24 Stunden und geht deutlich zügiger zu Werke was das vollständige durchcrawlen aller bekannten YaCy-Peers betrifft. Natürlich ist auch der RAM-Verbrauch gestiegen (auf etwa 700 kB, weil ja jeder Thread eigenen Stack benötigt usw.) und auch die CPU-Nutzung ist deutlich intensiver (etwa 800 Sekunden in 24 Stunden Laufzeit).
Die neue Version meines Tools hat leider auch nach mehr als 24 Stunden Laufzeit nur knapp 190 aktive Peers gefunden wohingegen die noch immer laufende (nun mehr als 3 Tage) alte Version etwa 220 aktive Peers kennt (und das auch in weniger als 12 Stunden nach dem Start schaffte). Diese Zahl schwankt auch bei beiden Programmen gleichermaßen mit der Tageszeit nur eben beim alten Programm auf etwas höherem Niveau. Ich kann mir das nur so erklären das es nur ein paar wenige Peers gibt die die anderen Peers kennen bzw. kannten und dass das neue Programm diese bisher noch nicht gefunden hat. Das alte Programm kennt, jetzt wo ich diesen Beitrag schreibe, insgesamt etwa 1600 Peers und das neue Programm nur etwa 1450 Peers und das obwohl das neue Programm bereits deutlich mehr Abfragen gestartet hat also eigentlich sehr viel schneller neue Peers finden müsste. Ich vermute daher das die Möglichkeit besteht das die YaCy-Peer-Wolke Gefahr läuft sich zu teilen und diese Teile eventuell (falls überhaupt) nur von extrem wenigen Peers zusammengehalten werden.

Die häufigsten privaten IP-Adressen die gemeldet werden sind 192.168.1.104 und 10.0.2.2 und 10.120.247.82 , vielleicht kommen die ja jemandem bekannt vor. Zumindest kommen und gehen diese Meldungen im Laufe der Zeit so das ich vermute das diese Peers nur zeitweise mit dem Internet verbunden sind. Wenn mich mein Gedächtnis nicht täuscht sind es auch immer wieder die selben IP-Adressen für die selben Peers die gemeldet werden.

Die Peers die unpassende Werte für die eigene LastSeen-Zeit melden sind auch immer noch die selben, bei beiden Programm-Versionen identisch (zumindest soweit ich das mit dem Auge beurteilen kann).
Unpassende bzw. unplausible Werte für die LastSeen-Zeit anderer Peers sprechen sich ebenfalls noch immer gerne rum, was meinen Tool doch ein paar Probleme bereitet aber auf die Plausibilitätstest möchte ich trotzdem nicht verzichten.

Ich bin gerade dabei einen HTTP-Server in mein Tool zu integrieren und dort wird als erstes eine Abfrage-Möglichkeit für die Peers (per Name und Hash) verfügbar sein. Als Ergebnis soll aber nicht nur die IP-Adresse sondern auch ein paar weitere Informationen und auch der Verlauf der Änderungen an dem betreffenden Peer enthalten sein.
Gibt es dazu Wünsche was ich alles sichtbar machen soll?

Eine (durchsuchbare) Liste mit allen bekannten Peers möchte ich aber nicht anbieten da ich die Anonymität der Peer-Betreiber nicht gefährden möchte, man muss den Peer also kennen für den man Informationen will. Es wird auch keine Rückwertssuche über die IP-Adresse o.ä. geben.
Ich hab zwar daran gedacht eine Seed-Liste, im selben Format wie bei den Principal-UpLoads, anzubieten aber das würde meiner Meinung zur Privatsphäre zuwider laufen, wie denkt ihr darüber?
Die Seed-Liste meines Tools wäre auf jeden Fall deutlich umfangreicher/vollständiger all die die bisher zum Bootstrapping von YaCy benutzt werden, wobei ich diese Liste natürlich auch auf die Peers beschränken kann die tatsächlich aktuell online sind was den Nutzwert weiter steigern würde da neue Peers so fürs erste keine Nieten in der eigenen Seed-Liste haben also ihre eigene Existenz möglichst effektiv propagieren können.

Es soll auch eine Möglichkeit geben dem Tool gezielt eine IP-Adresse + Port zum Abfragen vorzugeben und sich den dort vorhandenen YaCy-Peer ausgeben zu lassen (nebst dessen das dieser Peer dann in die Datenbank des Tool mit aufgenommen wird falls er noch unbekannt war).

Sobald das alles fehlerfrei funktioniert werde ich mein Tool online verfügbar machen.

Gibt es andere/spezielle Wünsche was mein Tool als nächstes bieten soll?
Aus meiner Sicht sind als danach die Forwarding-Möglichkeiten des HTTP-Servers (wie hier diskutiert) und der eigentliche DNS-Server (also der Hauptgrund für die Existenz dieses Tools) dran.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Erik_S » Mo Sep 29, 2014 5:13 pm

Hallo,

zur Lage des YaCy-Netzwerks gibt es derzeit nichts neues, es schwankt noch immer leicht mit der Urzeit.

Dafür habe ich heute mal angefangen Code für die Auswertung von Domain-Namen als IP-Adresse zu schreiben um auch die Peers zu unterstützen deren Anwender einen offiziellen Domain-Namen erworben haben, meist bei einem der klassischen DynDNS-Dienste. Dabei ist ein Name in der Art "yacy.example.org:80" aufgetaucht welcher natürlich wegen der angehängten Port-Nummer ":80" von meinem Tool abgelehnt wird. Ich gehe mal davon aus das der Betreiber dieses YaCy-Peers, der leider nicht wirklich als Senior etwas zu YaCy beisteuert obwohl der Peer sich selber als Senior betrachtet (und das dem Betreiber so anzeigt) und auch von meiner Statistik ausgenommen bleibt, das als "statische IP" fälschlicherweise so konfiguriert hat ohne sich dessen bewusst zu sein das er da etwas falsch macht. Ich sehe hier die Programmierer in der Pflicht dafür zu sorgen das derartige Fehlkonfigurationen von der YaCy-Software abgelehnt werden. Dies würde dafür sorgen das die Absicht der Anwender das YaCy-Projekt zu unterstützen auch tatsächlich wirkt, schließlich investieren die Betreiber von YaCy-Peers Zeit und Geld (auf der Stromrechnung) um dieses Projekt zu unterstützen und da sollte diese Mühe nicht wirkungslos verpuffen.

Ich werte jetzt seit mehr als 2 Wochen den Peer-to-Peer-Mechansimus von YaCy gründlich aus und muss ehrlich sagen das so ziemlich jeder Plausibilitätstest, der die korrekte Funktion meines Tool und damit auch die Korrektheit der Analyseergebnisse sicherstellen soll, schon mal zugeschlagen hat. Offensichtlich wurde wirklich jede Möglichkeit einen YaCy-Peer fehlerhaft zu konfigurieren auch mindestens einmal benutzt. Als Programmierer bin ich wahrlich kein Freund von zu vielen Stellschrauben für jeden User. Das darf man mir gerne als Bevormundung ankreiden aber ich denke für das korrekte Funktionieren einer Software ist in erster Linie der Programmierer verantwortlich und nicht der Anwender.

@YaCy-Entwickler:
Soll ich für jeden von mir gefundenen Bug einen Bug-Report schreiben?
Dürfen die auch auf Deutsch sein? (mein Englisch ist nicht gut genug um das alles detailliert erklären zu können)

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Orbiter » Di Sep 30, 2014 2:04 pm

die Korrektheit von YaCy Adressen wird mit einer Methode Seed.isProper() getestet und die IP mit Seed.isProperIP(). An den beiden Methoden habe ich in den letzten Tagen sehr viel geändert um auch IPv6 richtig zu bearbeiten, bitte gucke dort mal rein was dir auffällt: https://gitorious.org/yacy/rc1/source/6 ... /Seed.java
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacystats Neuauflage?

Beitragvon Erik_S » Mi Okt 01, 2014 5:25 pm

Hallo,

nach der Einführung von IPv6 im YaCy-Netzwerk im Laufe der letzten 24 Stunden möchte ich ein erstes (noch nicht ganz korrektes) Statusupdate bringen:
es wurden bis jetzt 2 IPv6-only-Peers gefunden und immerhin 14 Stück die über beide IP-Versionen verfügen, 8 davon haben sogar mehrere IPv6-Adressen.
Ansonsten muss ich klar sagen das der Code für die Analyse der IP-Versionen erst vor weniger als zwei Stunden getippt wurde und, genauso wie die Auswertung des Feldes "IP6" in den Seed-Listen, noch nicht ganz korrekt zu arbeiten scheint.
Die aktuelle Version meines Tools findet auch wieder ein paar mehr aktive Peers aber noch nicht ganz so viele wie die Version von vor 8 Tagen.

Zumindest ist klar festzuhalten das YaCy das neue Internetz (das bereits 20 Jahre alt ist) mit Erfolg erobert.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Orbiter » Mi Okt 01, 2014 9:22 pm

äh, also ich seh selbst das noch viel im Argen ist. Vor allem weiss ich nicht wie ich anders als mit trial-and-error die vielen IPv6-Adressen, die ein Peer behauptet zu haben auf die Menge (meistens eine) schrumpfen kann, die alle erreichen können. Das erfordert ein ganz anderes Handling der Peer-Seeds: bislang wurde, wenn man einen aufgrund der IP nicht erreichen konnte diesen einfach in 'passive' verschoben. Nun mmuss statt dessen der Peer so lange als aktiv gelten, wie noch nicht alle IPs gelöscht wurden und diese Löschung muss ein Update in der Seed-DB bekommen.

Weisst du ob man irgendwie an der IP erkennen kann dass sie von aussen erreichbar ist, anders als trial-and-error?
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacystats Neuauflage?

Beitragvon Erik_S » Mi Okt 01, 2014 10:49 pm

Hallo,

Orbiter hat geschrieben:äh, also ich seh selbst das noch viel im Argen ist.
Ich hab vorhin meinen eigenen Code als noch sehr unfertig beschrieben.

Orbiter hat geschrieben:Weisst du ob man irgendwie an der IP erkennen kann dass sie von aussen erreichbar ist, anders als trial-and-error?
Ja, das entscheidende Merkmal ist "global routbar", also die Eigenschaft die eine Methode wie .isGlobalUnicast() liefern sollte. Wenn man die IP als nacktes Byte-Array hat ist das gar kein Problem (für IPv6 und IPv4 zusammen sind das weniger als 50 Zeilen Code der rein aus numerischen Vergleichen u.ä. besteht). Natürlich würden so noch immer IP-Adressen übrig bleiben die zwar nach offizieller IANA-Definition als global routable Unicast gelten aber z.B. gar keinem Provider zugeordnet sind oder wo der User gerade Offline ist. Wirklich "erreichbar" ist immer eine Art Trial-and-Error aber man kann die Versuche zuvor auf die plausiblen Kandidaten einschränken.

Mein Analyse-Tool prüft jede IP-Adresse in den empfangenen Seed-Listen mit der Methode .isGlobalUnicast() und die einzigste IPv6-Adresse die da derzeit durchfällt ist 0:0:0:0:0:0:0:2 (die wird aber von mindestens 4 oder 5 verschiedenen Peers gemeldet) also bin ich der Meinung das Dein Code erstmal gar nicht so schlecht ist, für IPv4 werden wesentlich mehr verschiedene IP-Adressen (auch aus verschiedenen Adress-Klassen) gemeldet die nicht global routbar sind.
Ich gehe mal davon aus das Du die IP-Adressen des Hosts per 'java.net.NetworkInterface.getNetworkInterfaces()' und anschließendem 'isLoopback() == false' usw. + .getInetAddresses() (und diese solltest Du wiederum einzeln auf die Eigenschaft "global routbar" abprüfen) ermittelst, falls ja dann kann ich nicht verstehen woher die IP 0:0:0:0:0:0:0:2 kommt (kein korrekt funktionierendes Betriebssystem sollte so eine IP als einem eigenen Interface zugeordnet melden). Da diese IP von mehreren Peers gemeldet wird vermute ich einen systemischen Fehler aber ich hab absolut keine Ahnung wo dieser sein könnte (an dieser Stelle hätte ich gerne Zugriff auf ein System das so eine IP meldet um dem gezielt nachgehen zu können).

Um mal einen ungewöhnlichen Vorschlag zu machen: würdest Du ein spezielles Servlet einbauen das von 'java.net.NetworkInterface.getNetworkInterfaces()' ausgehend alle IP-Adressen (ungefiltert und mit Interface-Identifier) ermittelt und diese als simple Klartext-Liste (bevorzugt als einzelne CSV-Zeile o.ä., so wie im Feld "IP6") ausgibt so das mein Tool diese Liste von allen problematischen Peers abrufen kann damit wir sehen können aus was für Umgebungen solche IP-Adressen kommen?

Über die letzten paar Stunden betrachtet kann ich klar sagen dass das YaCy-Netzwerk zu wachsen scheint und das betrachte ich in jedem Fall als Erfolg Deiner IPv6-Einführung in YaCy.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Erik_S » Mo Okt 06, 2014 9:55 am

Hallo

seit heute Morgen ist eine erste Version meines YaCy-Peer-Analyse-Tools öffentlich verfügbar, erreichbar unter http://130.255.73.69:5353/tool_query.
Ruhig mal durchklicken und die Eingabefelder ausprobieren, es kann eigentlich nichts kaputt gehen, und schauen ob mein Tool Eure Peers kennt.
Falls von einem Peer nicht alle IP-Adressen angezeigt werden dann ruhig mal per http://130.255.73.69:5353/tool_test probieren ob der Peer auf der IP-Adresse überhaupt antwortet und schauen was er über sich selbst erzählt.
Die eigentlichen Statistiken sind leider noch nicht verfügbar, da werde ich mich im Laufe der nächsten Abende drum kümmern. Es gibt noch einige interessante Infos in den gesammelten Daten die auch hübsch präsentiert werden wollen.
Es wäre jedenfalls schön wenn sich doch mal ein paar Leute äußern könnten was denn alles angezeigt werden soll bzw. welche Informationen gewünscht sind.

Auch das Servlet '/forward' ist noch nicht eingebaut aber das kommt ebenfalls die nächsten Tage.
Darüber hinaus soll dieser HTTP-Server als Proxy für die .yacy / .yacyh Top-Level-Domains dienen, ich will dann auch einen möglichst einfachen Weg finden das in einen Browser zu integrieren aber es wird wohl auf ein AddOn hinauslaufen.

Falls der Link oben mal nicht funktioniert spiele ich wahrscheinlich gerade ein Update auf dem Server ein, also einfach ein paar Minuten später erneut probieren.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon flegno » Di Okt 07, 2014 8:54 am

Hallo,

Vom tool_query http://130.255.73.69:5353/tool_query ermittelte IP 79.227.xx.yyy
Code: Alles auswählen
this Peer is reachable by following IP-Adresses :

    79.227.yy.xxx
    79.227.xx.yyy

Code: Alles auswählen
Your IP is 79.227.xx.yyy

ist bei meinem Test nicht erreichbar:
Fehler: Netzwerk-Zeitüberschreitung

Der Server unter xx.yyy braucht zu lange, um eine Antwort zu senden.

Die Website könnte vorübergehend nicht erreichbar sein, versuchen Sie es bitte später nochmals.
Wenn Sie auch keine andere Website aufrufen können, überprüfen Sie bitte die Netzwerk-/Internetverbindung.
Wenn Ihr Computer oder Netzwerk von einer Firewall oder einem Proxy geschützt wird, stellen Sie bitte sicher, dass Firefox auf das Internet zugreifen darf.
Die IP-Adresse 79.227.yy.xxx ist erreichbar.

  • Wo kann ich meinen Peer-Hash-Wert nachschlagen?

Gruss, Gustav
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: yacystats Neuauflage?

Beitragvon Orbiter » Di Okt 07, 2014 10:00 am

die neue Netzwerk-Übersichtsseite zeigt den hash von allen Peers an, in der ersten Spalte
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacystats Neuauflage?

Beitragvon Erik_S » Di Okt 07, 2014 12:20 pm

Hallo,

die angezeigten IP-Adressen sind leider relativ häufig veraltet oder zumindest mit veralteten IP-Adressen durchsetzt.
Das kommt in erster Line dadurch das es doch einige Peers gibt die in ihren Seed-Listen unpassende LastSeen-Zeiten bezüglich anderer Peers melden und so kann es vorkommen das die IP-Liste eines Peers mit längst veralteten IP-Adressen "geupdatet" wird. Ich gebe mir zwar Mühe offensichtlich falsche LastSeen-Zeiten auszusortieren (z.B. alle die in der Zukunft liegen und das ist gar nicht mal selten) aber das klappt natürlich nur begrenzt zuverlässig. Mein Tool löscht auch nicht erreichbare IP-Adressen nach einigen erfolglosen Versuchen aber aufgrund des Problems mit den LastSeen-Zeiten kommen auch längst veraltete IP-Adressen immer wieder in die interne Datenbank rein.
Es kommt auch vor das für Peers die eindeutig keine gültige IPv4-Adresse haben eine angezeigt wird obwohl unter dieser IPv4-Adresse gar kein YaCy-Peer ansprechbar ist, ich habe vorgestern auch gesehen das ein bestimmter Peer sich selber nur allein mit einer Garrier-Grade-NAT-IPv4 ausgewiesen hat obwohl er nur per IPv6 ansprechbar ist (und auch die Abfrage nur per IPv6 ging).
Mein Tool selber stört sich an ungültigen/veralteten IP-Adressen recht wenig, es werden für jede Peer-Abfrage immer alle bekannten IP-Adressen probiert, aber das YaCy-Peer-to-Peer-Netzwerk wird durch solche Fehler schon negativ beeinflusst da es ja offensichtlich Peers gibt die eben über veraltete IP-Adressen verfügen und bei einer eventuellen Suchanfrage an den betreffenden Peer somit leer ausgehen. Da pro Suchanfrage wohl mehrere andere Peers befragt werden ist der Effekt vermutlich nur minimal aber sicher doch messbar.

Von meinem Tool wird der Hash eines Peers wird immer rechts neben dem Namen des Peers angezeigt, aber natürlich zeigt auch jeder Peer seinen Hash selber an.

Ich hoffe das ich es noch heute Abend schaffe die Basis-Statistik (Gesamtanzahl der Peers, Anzahl erreichbarer Peers, usw.) ebenfalls in den HTTP-Server mit aufzunehmen, bis jetzt wird die nur stündlich auf der Konsole ausgegeben (und das macht auf einem headless-Root-Server keinen Sinn).

@Orbiter:
Da es relativ schwer ist gezielt nach Peers zu suchen die per IPv6 erreichbar sind habe ich daran gedacht eine Liste aller entsprechenden Peers anzulegen und diese über eine spezielle URL abrufbar zu machen aber das widerspricht eigentlich meinem Bestreben die Anonymität der User möglichst zu wahren und eben keine Liste mit Peers auszugeben. Ich möchte mich eigentlich auf Abfragen beschränken bei denen man zumindest den Namen oder Hash eines Peers bereits kennen muss. Aber aufgrund der aktuellen IPv6-Einführung ist eine kleine Übersicht eventuell doch nützlich und vertretbar, die würde natürlich baldmöglichst wieder verschwinden und bekäme auch einen rudimentären Zugriffsschutz. Was denkst Du darüber?

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Erik_S » Mi Okt 08, 2014 10:50 pm

Hallo,

eine einfache Basis-Statistik ist nun, leider etwas verspätet, unter http://130.255.73.69:5353/stats_main abrufbar. Die Graphik ist eine simple History die stündlich neu generiert wird. Der SVG-Code sollte von allen aktuellen Browsern korrekt angezeigt werden, falls es da doch Probleme gibt Bitte ich um Rückmeldung. Die Seite kommt ohne Java-Script oder andere aktive Techniken im Browser aus, aber später möchte ich einen Zoom (für die X-Richtung) einbauen der dann vermutlich doch auf Java-Script basiert. Auch einen Mouse-Over-Effekt der für den Zeitpunkt genau unter dem Mauszeiger die absoluten Zahlen einblendet möchte ich realisieren, aber das ist Kosmetik, momentan geht es mir um Funktionalität. Das nächste UpDate soll einen HTTP-Forwarder bringen der es ermöglicht einen Browser ohne spezielle Vorbereitung auf die aktuelle IP-Adresse eines YaCy-Peers weiterzuleiten (eventuell auch optional auf einen zufälligen erreichbaren Peer, das würde flexiblere Portal-Nutzung für YaCy ermöglichen).

Dank der Möglichkeit zu beliebigen Zeitpunkten die Datenbank meines Tools abzufragen ist mir aufgefallen das manche Peers immer wieder andere IP-Adressen von sich selber melden obwohl sie durchgehend nur unter ein und derselben IP-Adresse erreichbar sind.
@Orbiter:
probiere mal unter http://130.255.73.69:5353/tool_test Deine IP-Adresse, also die eine die tatsächlich funktioniert (mit ????:??FF:FE??:???? am Ende), aus (ruhig alle paar Minuten neu laden) und Du kannst sehen wie Dein Peer regelmäßig etwas anderes meldet. Solange die Peers selber nicht korrekt wissen wie sie erreichbar sind weiß auch das Peer-to-Peer-Netzwerk nichts präziseres, ich bin der Meinung das an diesem Punkt noch Handlungsbedarf besteht (und der sollte meiner persönlichen Meinung nach auch eine relativ hohe Priorität haben da von der Verteilung korrekter IP-Adressen das Funktionieren des zugrunde liegenden Peer-to-Peer-Netzwerks abhängt). Auch die Auskünfte die mein Tool gibt sind demzufolge nur von begrenzter Qualität.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Erik_S » Mi Okt 15, 2014 10:52 am

Hallo,

wie einige vielleicht mitbekommen haben musste ich mein Analyse-Tool die vergangenen Tage mehrmals neu starten. Der Code zum Decodieren der Peer-Beschreibungen hat ein Format-Problem in den Seed-Listen etwas zu ernst genommen und das Tool einfach beendet obwohl ein Abbruch der Verarbeitung des aktuellen Peers völlig ausgereicht hätte. Dieser Fehler ist aber nur sehr sporadisch aufgetreten, offensichtlich ist der problematische YaCy-Peer (der eine ungültige Seed-Liste liefert) nur selten online so das mein Tool nur selten über dieses Problem gestolpert ist. Auf jeden Fall habe ich gestern eine gefixte Version meines Analyse-Tools auf den Server gespielt so dass das Tool jetzt erst einmal anständig laufen sollte. Dabei habe ich den aktuellen Code benutzt in dem bereits eine unvollständige Version des Forwarders enthalten ist. Die URL /forward?random arbeitet bereits korrekt, und zwar für IPv4 und für IPv6 aber bei IPv6 kommt noch nicht allzu viel sinnvolles bei raus da das YaCy-Peer-Netzwerk noch immer erhebliche Probleme mit den IPv6-Adressen hat. Die URLs /forward?name=.... bzw. /forward?hash=.... sind zwar ebenfalls bereits integriert aber liefern noch keine korrekte IP-Adresse zurück.

Auf meinen Server werde ich aber erst dann eine neue Version meines Tools aufspielen wenn ich die Statistik persistent gemacht habe, also mein Tool diese regelmäßig speichern und beim Starten auch wieder einlesen kann. Vielleicht schaffe ich das noch diese Woche. Solange das nicht da ist geht die Statistik mit jedem Neustart meines Tools immer komplett verloren und fängt wieder bei Null an.
Danach kümmere ich mich um die Kosmetik an der graphischen Darstellung der Statistik, es fehlt u.a. eine Skala für die Y-Richtung.

Beim Ausprobieren des Forwarders ist mir aufgefallen das doch einige Peers einen 403-Fehler melden, vor allem bei IPv6 ist das ein sehr häufiges Problem. Leider kann man dem Browser nicht sagen er soll auf die IP-Adresse XYZ zugreifen und dabei im HTTP-Header als Host "ABC.yacy" melden also muss dieses Problem (das meiner Einschätzung nach im Zusammenhang mit der Auswertung des Host-Headers steht) in YaCy selber gelöst werden. Ich würde mich daher erneut dafür aussprechen wollen das der interne Proxy in YaCy komplett entfernt wird oder wenigstens die damit zusammenhängenden Probleme nachhaltig gefixt werden.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Erik_S » Sa Okt 18, 2014 11:20 am

Hallo,

es gibt derzeit etwas interessantes in der Statistik zu beobachten. Aufgrund einer Format-Änderung an der Seed-Liste versteht mein Tool diese nicht mehr und alle Peers die seit dem die neue Version der YaCy-Software einsetzen werden von meinem Tool nicht mehr als "online" erkannt. Es ist seit gestern Nachmittag ein Abfall um etwa 20 Peers (an der grünen Fläche in der Graphik auf http://130.255.73.69:5353/stats_main) sichtbar. Daraus kann man etwa ablesen wie viele Peers tatsächlich häufig die Software-Version aktualisieren.
Ich werde das erstmal weiter beobachten.

Wann und wie ich mein Tool an das geänderte Format der Seed-Listen anpassen werde weiß ich noch nicht aber ich werde mich auf jeden Fall bemühen auch weiterhin einen möglichst vollständigen Überblick über alle Peers zu bieten.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Erik_S » Mi Okt 22, 2014 8:41 am

Hallo,

ich hab gestern Abend mein Analyse-Tool mal wieder geupdated, Hauptgrund war eine Änderung an der Seedlist-Syntax die mein Tool vor Probleme gestellt hat, aber jetzt werden wieder alle aktiven YaCy-Peers gefunden.

Mit dem Update ist auch die Statistik verloren gegangen aber das sollte das letzte mal gewesen sein das dies passiert, mein Tool speichert die Statistik nun immer in eine Datei und mit dem nächsten Update sollte auch das Einlesen beim Programmstart zuverlässig klappen, somit bleibt die Statistik dauerhaft erhalten. Die Graphik für die Basis-Statistik ist ebenfalls ein bisschen ansehnlicher geworden.

Der Forwarder ist nun voll funktionsfähig und arbeitet auch bei Angabe eines Peer-Names oder eines Peer-Hashs korrekt (beides gleichzeitig geht natürlich nicht). Damit ist es nun möglich den eigenen Peer z.B. als Sub-Domain in eine Web-Seite zu integrieren, dabei arbeitet mein Tool quasi als eine Art DynDNS-Service für beliebige YaCy-Peers und das ohne das der User seinen Browser irgendwie vorbereiten müsste. Es gibt auch eine passende Fehlermeldung wenn der gewünschte Peer offline oder unbekannt ist. Was am Forwarder noch fehlt ist die Möglichkeit einen Link vorzugeben der dann in die Fehlermeldungen integriert wird damit der User auch bei ausgefallenem oder abgeschaltetem Peer weitere Informationen bekommen kann. Ebenfalls fehlt noch die Möglichkeit eine URL für den YaCy-Peer vorzugeben, das soll auch bei der zufälligen Peer-Auswahl funktionieren damit man z.B. ein Link in der Art wie http://130.255.73.69:5353/forward?random&url=yacysearch%2Ehtml%3Fquery%3DYaCy%2BSuchmaschine anbieten kann womit ein zufälliger YaCy-Peer mit der URL "/yacysearch.html?query=YaCy+Suchmaschine" aufgerufen wird und dieser das Suchergebnis für "YaCy Suchmaschine" anbietet.
Der Forwarder versucht die IP-Version zu bevorzugen mit der er vom Browser des User kontaktiert wird aber wenn der gewünschte Peer nur über die andere IP-Version erreichbar ist wird diese auch benutzt, das dürfte aber nur für die User ein Problem sein die nur per IPv4 ins Internet können aber einen YaCy-Peer ansteuern wollen der nur per IPv6 erreichbar ist (also momentan eine noch recht seltene Kombination weil es derzeit nur sehr wenige YaCy-Peers gibt die nur per IPv6 erreichbar sind). Bei der Zufallsauswahl wird die IP-Version des Users immer eingehalten.
Leider liefern die meisten YaCy-Peers bei IPv6 den HTTP-Fehler 403, ich hoffe das dieses Problem von YaCy bald eine Lösung erfährt.

Unter der URL http://130.255.73.69:5353/ ist nun eine Suchseite erreichbar die per HTML-Frame-Set eine zufälligen YaCy-Peer einbindet. Dabei stimmt sogar der Seiten-Titel oben in der Browser-Fester-Leiste. Abgeschaut habe ich den HTML-Code bei yacy.mooo.com, ich hoffe man verzeiht mir mein Kopieren. Was mir gefällt ist das der Neuladen-Button des Browsers das Frame-Gerüst von meinem Tool neu lädt und damit auf einen anderen zufälligen YaCy-Peer umgeleitet wird, also wenn der selektierte YaCy-Peer aus irgendeinem Grund nicht will dann reicht ein Mausklick (oder ein Tastendruck, meist F5) und es wird ein anderer Peer probiert. Was ich noch als Problem ansehe ist das wenn die Suchmaske des YaCy-Peers dann benutzt wird das trotzdem alles innerhalb des Frame-Sets abläuft, ich würde es als praktischer empfinden wenn bei der ersten "Benutzung" der Suchmaske die Seite des YaCy-Peers aus dem Frame-Set ausbricht und das Browser-Fenster komplett übernimmt so das ab dann mein Tool außen vor bleibt und der Neuladen-Button auch nicht mehr einen anderen Peer auswählt. Wenn jemand über ausreichend HTML-Kenntnisse verfügt und mir einen passenden Tipp geben kann wäre ich sehr dankbar.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon flegno » Mi Okt 22, 2014 10:26 am

Hallo,
Erik_S hat geschrieben:Was ich noch als Problem ansehe ist das wenn die Suchmaske des YaCy-Peers dann benutzt wird das trotzdem alles innerhalb des Frame-Sets abläuft, ich würde es als praktischer empfinden wenn bei der ersten "Benutzung" der Suchmaske die Seite des YaCy-Peers aus dem Frame-Set ausbricht und das Browser-Fenster komplett übernimmt so das ab dann mein Tool außen vor bleibt und der Neuladen-Button auch nicht mehr einen anderen Peer auswählt. Wenn jemand über ausreichend HTML-Kenntnisse verfügt und mir einen passenden Tipp geben kann wäre ich sehr dankbar.
das mit dem Ausbrechen ist so eine zweischneidige Sache:
  1. ich kann nachvollziehen, dass du als 130.255.73.69/-Anbieter mit dem Ausbrechen dem Anwender signalisierst - du kommunizierst jetzt mit dem Webserver des Zufall-Peers
  2. entsprechend dem Sicherheitsmodell des Browsers wird der Browser bedingt durch so ein Ausbruch-Versuch u.U. eine Frage an den Anwender auslösen "Darf ein neus Fenster/Popup geöffnet werden?"
Ich vermute derartige Fragen werden von vielen Anwendern als Störung empfunden. Unabhängig davon könnte man im YaCy-Template in dieser Zeile
Code: Alles auswählen
<body id="index" onload="document.getElementById('search').focus()">
prüfen, ob der Referer (Mutter-Fenster) (d)ein Proxy ist und bei "ja" mit
Code: Alles auswählen
javascript:window.open(urlAdresse, neuesFenster)
aus dem Eltern-Frame ausbrechen (versuchen). Aber bevor man versucht zu klären, ob so eine Template-Änderung denkbar ist, meine Frage: Warum verwendest du hier ein Frame/iframe?

Gruss, flegno
Zuletzt geändert von flegno am Mi Okt 29, 2014 7:24 am, insgesamt 1-mal geändert.
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: yacystats Neuauflage?

Beitragvon Erik_S » Mi Okt 22, 2014 1:11 pm

Hallo,

mit "Ausbrechen" aus dem Frame-Set ist kein neues Fenster gemeint sondern es soll das aktuelle Fenster nun exklusiv für den selektierten YaCy-Peer benutzt werden, siehe http://de.selfhtml.org/html/frames/verweise.htm#beenden_von_framesets (also target="_top"). Da kein neues Fenster kommt sollte auch kein Browser maulen.

flegno hat geschrieben:Warum verwendest du hier ein Frame?
Primär geht es mir tatsächlich darum das der Neuladen-Button (bzw. F5) des Browsers einen anderen Peer selektiert. Das funktioniert mit der Frame-Variante deshalb so gut weil der Browser das gesamte Frame neu lädt also zuerst wieder von meinem Tool die URL "/" lädt und diese enthält dann eine neue zufällige IP-Adresse der der Browser folgt um das Frame-Set mit Inhalt zu versorgen. Bei der Variante von yacy.mooo.com funktioniert das nicht weil dort in das Frame-Set nicht direkt eine zufällige IP-Adresse eingebaut ist sondern ein Link auf 130.255.73.69/forward?random und der Browser dessen 307-Antwort sich gemerkt hat und somit beim Reload einfach wieder den selben Peer ins Frame-Set packt. Da der Server von yacy.mooo.com natürlich keinen Zugriff auf die interne Zufallsliste meines Tools hat hat er auch kaum eine andere Möglichkeit das Problem zu lösen.

Die Frage ist nun wie ich das Attribut target="_top" in alle Links der YaCy-Suchseite bekomme und ob das auch mit dem Form-Element (also dem Such-Button) funktioniert.
@Orbiter:
Irgendeine Idee zu diesem Thema?

flegno hat geschrieben:ich kann nachvollziehen, dass du als 130.255.73.69/-Anbieter mit dem Ausbrechen dem Anwender signalisierst - du kommunizierst jetzt mit dem Webserver des Zufall-Peers
Ja, das ist mir sehr wichtig. Es soll sich auf jeden Fall auch die Adresszeile im Browser ändern damit der Anwender klar sieht mit wem er kommuniziert und vor allem möchte ich mir auch nicht die Leistung der eigentlichen Web-Suche zu eigen machen.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon flegno » Mi Okt 22, 2014 3:53 pm

Erik_S hat geschrieben:[...]
ich würde es als praktischer empfinden wenn bei der ersten "Benutzung" der Suchmaske die Seite des YaCy-Peers aus dem Frame-Set ausbricht und das Browser-Fenster komplett übernimmt so das ab dann mein Tool außen vor bleibt und der Neuladen-Button auch nicht mehr einen anderen Peer auswählt. Wenn jemand über ausreichend HTML-Kenntnisse verfügt und mir einen passenden Tipp geben kann wäre ich sehr dankbar.

Erik_S hat geschrieben:Die Frage ist nun wie ich das Attribut target="_top" in alle Links der YaCy-Suchseite bekomme
rein technisch dürfte das nicht das Problem sein, in den Templates bzw. im Servet das anzupassen - vermute ich mal - vorausgesetzt das Verhalten der Links passt in das Gesamtszenario.

Erik_S hat geschrieben:und ob das auch mit dem Form-Element (also dem Such-Button) funktioniert.
diese Frage habe ich nicht verstanden.

Und ich bin unsicher, ob ich dein Gesamtszenario also erwartetes Verhalten der Webseite verstanden habe bzw. nach meinem Verständnis enthält deine Beschreibung Widersprüche:
  • einerseits
    Erik_S hat geschrieben:mit "Ausbrechen" aus dem Frame-Set ist kein neues Fenster gemeint.
    und
    Erik_S hat geschrieben:Primär geht es mir tatsächlich darum das der Neuladen-Button (bzw. F5) des Browsers einen anderen Peer selektiert.
  • andererseits
    Erik_S hat geschrieben:...
    wie ich das Attribut target="_top" in alle Links der YaCy-Suchseite bekomme.
Sobald in der Adresszeile dank target="_top" die Adresse des Peers eingeblendet wird, werden doch keine andere Peers mehr mit F5 mehr geladen? Oder habe ich deine Beschreibung falsch interpretiert. Wenn du hier http://etherpad.yacy.net/p/random-frame-set dein Szenario inkl. die Verwendung von F5 präzisierst, wäre es einfacher nach Lösungen und Lösungsansätzen zu suchen.

Gruss, flegno
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: yacystats Neuauflage?

Beitragvon Erik_S » Mi Okt 22, 2014 5:04 pm

Hallo,

das Ausbrechen soll erst dann passieren wenn tatsächlich ein Link innerhalb der Defaul-YaCy-Seite geklickt wird (und sei es auch nur der Link ins Administrationsmenü) und vorher soll das Neuladen auch das Frame-Set von meinem Server neu anfordern womit dann auch ein neuer zufälliger YaCy-Peer eingebunden wird.
Ich könnte mir vorstellen das ich per Java-Script in alle Links der YaCy-Seite das Attribut target="_top" einbaue oder das dieses Attribut eventuell schon vorhanden ist weil ich vom YaCy-Peer nicht die URL "/" sondern "/?linktarget=_top" aufrufe und das Servlet in YaCy alle Links selber anpasst.
@Orbiter:
Ist die zweite Variante möglich oder siehst Du da Probleme?

Das Form-Element in der HTML-Suchseite von YaCy ist der Eingabe-Schlitz für die zu suchenden Wörter mit dem zugehörigen Button. Wenn der Button geklickt wird (oder innerhalb des Eingabefeldes Enter gedrückt wird) wird kein normaler Link aufgerufen sondern die Verknüpfung die im einleitenden <form>-Tag enthalten ist. Laut http://de.selfhtml.org/html/formulare/definieren.htm#zielfenster funktioniert da aber ebenfalls das Attribut target also sollte auch das kein Problem sein.

Jetzt muss das nur noch umgesetzt werden und es gäbe eine YaCy-Suchseite hinter der sich immer ein zufälliger YaCy-Peer verbirgt. Das wäre ein guter Load-Balancer für YaCy und damit eine ideale Einstiegsseite für Suchende die keinen eigenen YaCy-Peer betreiben können/wollen.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon flegno » Do Okt 23, 2014 7:14 am

Hallo,
Erik_S hat geschrieben:Jetzt muss das nur noch umgesetzt werden und es gäbe eine YaCy-Suchseite hinter der sich immer ein zufälliger YaCy-Peer verbirgt. Das wäre ein guter Load-Balancer für YaCy und damit eine ideale Einstiegsseite für Suchende die keinen eigenen YaCy-Peer betreiben können/wollen.

Es wäre schön, wenn jemand vom YaC-Kernteam sich meldet und skizziert, wie die Architektur, Logik, Funktionsweise im aktuellen Load-Balancer für YaCy http://yacy.net/de/Suchportal.html realisiert ist?

Gruss, flegno
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: yacystats Neuauflage?

Beitragvon Erik_S » Do Okt 23, 2014 8:43 am

Hallo,

flegno hat geschrieben:wie die Architektur, Logik, Funktionsweise im aktuellen Load-Balancer für YaCy http://yacy.net/de/Suchportal.html realisiert ist?
Das ist ganz einfach: der Domain-Name "search.yacy.de" löst zu einer konstanten IP-Adresse auf und dort läuft der Peer "yacportalsearch2014" auf Port 8092, damit dieser Peer auch auf Port 80 reagiert (diesen Port benutzen die normalen Browser beim Protokoll HTTP per Default) gibt es dort vermutlich eine interne Weiterleitung in der Art http://www.yacy-websuche.de/wiki/index.php/En:Portforwarding.
Um das selbe für mein System zu erreichen benötige ich ebenfalls einen richtigen Domain-Namen (theoretisch würde ein kostenloser DynDNS-Anbiter reichen, das dynamisch muss man ja nicht nutzen) der zur IP 130.255.73.69 (und auch auf die IPv6-Adresse meines Servers) auflöst und dazu eine vergleichbare Weiterleitung von Port 80 auf Port 5353 und schon reicht es wenn ein beliebiger User einfach http://Random-YaCy-Suchportal.domain/ aufruft damit er die Suchseite eines zufälligen YaCy-Peers angezeigt bekommt (ganz ohne kryptische IP-Adressen oder Portnummern). Oder ich richte eine 307-Weiterleitung von einem kostenlosen Web-Space auf meinen Server ein, das hab ich mal auf die Schnelle unter http://yacy.bplaced.net/ gemacht und das funktioniert wunderbar, mal davon abgesehen das der User bei dieser Variante die IP-Adresse meines Servers in der Adresszeile sieht (da ist die erste Variante schöner).

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon flegno » Mi Okt 29, 2014 8:35 am

Hallo,

ich habe hier yacyDNS: Load Balancing, Benutzerfreundlichkeit, Zukunft des YaCy-Projekts ein Thema abgezweigt, in der Hoffnung, ein Paar grundsätzliche Fragen klären zu können, die m.E. für die Auswahl von yacyDNS-Lösungsansätzen und Lösungen relevant sind bzw. sein können.

Gruss, flegno
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: yacystats Neuauflage?

Beitragvon Orbiter » Mi Okt 29, 2014 1:55 pm

seit meinem Posting in viewtopic.php?p=30740#p30740 sammeln die Peers ja nun auch lokal Statistiken und diese sind in der aktuellen Dev-Versionen nun in Grafiken zu sehen, und zwar auf einer neuen Netzwerkseite in /Network.html?page=5 für Peer-Historie und auf der alten Status.html Seite für Dokumentenanzahlhistorie.

Das soll laber nicht heissen dass 'externe' Statistiken unerwünscht oder überflüssig sind. Jedenfalls haben wir nun Statistiken in jedem Peer und die kann je nach dessen Online-Zeit auch unterschiedlich sein. Ich sehe diese Statistiken auch als Mittel um 'Sammelleidenschaften' entgegen zu kommen und damit Online-Zeiten der Peers zu erhöhen.

Network History 20141029.png
Network History 20141029.png (128.77 KiB) 24392-mal betrachtet


Das ist mein Peer der durch das Fehlen von IPv4 einen massiven Einbruch an Peer-Kontakten hatte und nun nach den IPv6-Änderungen nun langsam wieder anfängt zu wachsen.
Vorschläge willkommen.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacystats Neuauflage?

Beitragvon Erik_S » Mi Okt 29, 2014 3:10 pm

Hallo,

an der obersten Graphik ist gar kein so deutlicher 24-Stunden-Verlauf zu sehen wie in meiner Statistik. Bei meinem Tool schwankt die Anzahl der tatsächlich erreichbaren Peers innerhalb von 24 Stunden oft zwischen 180 und 220, teilweise sogar noch darüber hinaus, auf Deiner Graphik sieht die Linie hingegen deutlich flacher aus. Kannst Du Dir das erklären? Mir fällt da spontan keine Erklärung ein obwohl doch "Connected Senior Peers" so ziemlich das selbe meinen sollte.

Das die anderen Graphiken deutlich höhere Anzahlen an Peers ausgeben liegt wohl daran das dort auch Juniors mitgezählt werden. Die Junior-Peers sind für mein Tool aber leider komplett unsichtbar da mein Tool nur die Peers zählt die es selber erreichen kann.

Orbiter hat geschrieben:Vorschläge willkommen
Was ich denke was noch getan werden müsste damit YaCy von IPv6 wirklich in vollem Umfang profitieren kann habe ich schon im Thread im Coding-Sub-Forum geschrieben.
Ich bin aber auf jeden Fall der Meinung das es vorwärts geht.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Erik_S » Do Nov 13, 2014 6:25 pm

Hallo,

eventuell hat es schon jemand bemerkt: ich habe heute Früh auf dem Server eine neue Version meines Tools yacyDNS eingespielt.
Es hat sich vor allem einiges unter der Haube geändert und auch drum herum ist etliches anders.

yacyDNS ist jetzt mit einem richtigen Domain-Namen erreichbar: yacy.info bzw. yacy.info/stats_main mit den Statistiken. Auch der Port 5353 ist jetzt nicht mehr notwendig, es funktioniert der HTTP-Standard-Port 80 so das keine derartige Angabe in Links u.ä. mehr erforderlich ist. Für die IP-Adresse 130.255.73.69 gibt es aber eine interne Weiterleitung von Port 5353 auf Port 80 so das externe Scripte/Links/usw. erst einmal weiter funktionieren, trotzdem sollte überall "130.255.73.69:5353/" gegen "yacy.info/" ausgetauscht werden.

Die Statistikseite ist zwar noch immer recht spartanisch aber ich hoffe das ich da demnächst einiges ändern kann. Aus der internen Datenbank von yacyDNS lassen sich jedenfalls einige recht interessante Informationen extrahieren.
So ist eine neue Punkt-Linie dazugekommen die anzeigt wie viele der bekannten Peers von yacyDNS niemals erreicht wurden. In den ersten 24 Stunden nach einem Neustart von yacyDNS (womit bisher leider immer die interne Datenbank komplett verloren war) wird die Anzahl der unerreichbaren Peers kleiner (in dieser Zeit kommen all die Peers die nur für begrenzte Zeit pro Tag online sind als erreichbar hinzu) und ab dann wird diese Zahl langsam immer größer. Hinter letzterem vermute ich das es Peers gibt die nur so kurz online sind das mein Tool diese gar nicht erwischt aber da diese Peers trotzdem in den Seedlisten weniger anderer Peers eine Spur hinterlassen kommen sie trotzdem in die interne Datenbank von yacyDNS.
Da yacyDNS jetzt auch regelmäßig die komplette interne Datenbank als Datei abspeichert konnte ich mir mal die Liste der Peers genauer ansehen. Auffallend ist das bei vielen Peers nur kurze Zeiten zwischen "Birth-Date" und "Last-Seen" vergangen sind und die meisten dieser Peers auch aktuell nicht mehr erreichbar sind. Das deutet darauf hin das sehr viele YaCy-Installationen nur kurz benutzt/getestet werden und dann nie wieder kommen.

Zusammenfassend komme ich zu dem Schluss das es höchstens etwa 250 regelmäßig aktive Peers mit Senior-Status gibt und der Rest entweder nur sehr selten benutzt wird oder nur kurzlebige Eintagsfliegen waren. Letzteres lässt vermuten das viele Anwender keinen ausreichenden "Nutzwert" in YaCy sehen um sich für einen längerfristigen Betrieb eines eigenen Peers zu entscheiden.

Ich würde mich sehr freuen wenn wir diese Beobachtungen hier mal angemessen diskutieren würden. Schon weil meine Schlussfolgerungen auch falsch sein können würde ich gerne andere Meinungen dazu lesen.

Hinter der Domain yacy.info stecken zwei unabhängige Server (einzeln per a.yacy.info und b.yacy.info erreichbar) damit ein Ausfall wie Ende Oktober nicht noch einmal vorkommt. Natürlich sind beide Server per IPv4 und IPv6 erreichbar.

Momentan arbeite ich daran das die Instanzen von yacyDNS auf den unterschiedlichen Servern ihre interne Datenbank untereinander synchronisieren können. Das soll dann den Total-Verlust bei einem Neustart endlich abschaffen.

Hat schon mal jemand probiert yacyDNS als Proxy für die beiden YaCy-Top-Level-Domains (.yacy und .yacyh) zu benutzen? Enthalten ist diese Funktion schon eine kleine Weile aber ich bin bis jetzt noch nicht dazu gekommen das mal gründlich auszutesten. Theoretisch sollte es in Firefox reichen das AddOn FoxyProxy zu installieren und für die beiden YaCy-Top-Level-Domains als HTTP-Proxy "yacy.info" einzutragen.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Orbiter » Fr Nov 14, 2014 3:39 pm

Erik_S hat geschrieben:yacyDNS ist jetzt mit einem richtigen Domain-Namen erreichbar: yacy.info bzw. yacy.info/stats_main mit den Statistiken.

coole Sache, habs getwittert: https://twitter.com/yacy_search/status/ ... 4475141120

da ist aber noch ein Bug: wenn ich eine Suche abgeschickt habe und dann in der Kopfzeile den Link 'reload' klicke kommt zwar der Hinweis auf einen neuen Peer, die Suchseitenanzeige ist aber noch vom alten.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacystats Neuauflage?

Beitragvon Erik_S » Fr Nov 14, 2014 5:43 pm

Hallo,

Orbiter hat geschrieben:coole Sache, habs getwittert
Danke!

Orbiter hat geschrieben:da ist aber noch ein Bug
Ich vermute mal Du hast mit Firefox getestet, da ist bei mir das selbe Problem. Nach dem Klick auf Relaod wird zwar das Frameset von yacy.info/ neu geladen und der iFrame im HTML-Code zeigt auch auf die neue IP-Adresse aber angezeigt wird trotzdem noch der vorherige Peer. In Chromium hingegen wird das gesamte Frameset neu geladen inklusive dem neuen Peer. Merkwürdiges Phänomen, mir fällt da auf die Schnelle nichts ein wie sich das beheben lässt. Wenn mir jemand einen funktionierenden Work-Around bieten kann baue ich das gerne ein. Auf der anderen Seite ist es eventuell gar nicht so schlimm wenn eine funktionierende Suche nicht so schnell abgewürgt wird, bin mir nicht sicher ob das wirklich ein "Bug" ist oder einfach nur eine interessante Eigenart des Firefox.
Wäre auch mal interessant zu erfahren wie sich andere Browser verhalten, auch abseits von Linux.

Eventuell wäre es sinnvoll auch auf http://www.yacy.net/de/Suchportal.html einen passenden Link zu platzieren, immerhin steht mit yacy.info/ jetzt ein echter Load-Balancer zur Verfügung.

Fehlt eigentlich nur noch dass das Frameset bei funktionierender Suche verlassen wird, also der befragte Peer das aktuelle Browser-Fenster komplett übernimmt. Ich hatte mal wegen einer Lösung per Java-Script ein wenig recherchiert aber das könnte eventuell daran scheitern das ein Java-Script in meiner Seite den HTML-Code bzw. DOM-Baum der Seite innerhalb des Framset gar nicht modifizieren darf, wegen Sicherheitsmechanismen ("Same Origin Policy") im Browser. Eine Alternative wäre das im Servlet in YaCy das für die URL "/" zuständig ist ein neues Query-Parameter hinzukommt das wenn es vorhanden ist alle Links und das Form-Element mit dem Attribut target="_top" versieht, ich würde dann die URL in meinem iFrame-Element entsprechend ändern.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon flegno » Sa Nov 15, 2014 11:30 am

Hallo,
Erik_S hat geschrieben:yacyDNS ist jetzt mit einem richtigen Domain-Namen erreichbar: yacy.info bzw. yacy.info/stats_main mit den Statistiken.
Beim Versuch die Website yacy.info im Browser zu laden bekomme ich gerade die Meldung:
Code: Alles auswählen
Fehler: Server nicht gefunden

Der Server unter www.yacy.info konnte nicht gefunden werden.

Die Adresse 130.255.73.69:5353 ist erreichbar.

Gruss, flegno
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: yacystats Neuauflage?

Beitragvon Erik_S » Sa Nov 15, 2014 6:47 pm

Hallo,

ich hab Heute um 14:54 dazu eine eMail von der Domain-Registry erhalten das ich wohl irgendeine Bestätigungs-Mail übersehen hätte. Die kam zwar vor 2 Wochen aber der Link darin funktioniert nicht (der Host-Nnme existiert wohl nicht und mein Browser bringt die selbe Meldung wie jetzt bei yacy.info) und ich hab da auch geantwortet das ich nicht bestätigen kann aber es erfolgte keinerlei Reaktion. Ich hab das leider ein wenig aus den Augen verloren, ich hab schließlich noch ein echtes Real-Live und anderen Mist zu tun. Jedenfalls hieß es vor 2 Wochen das es bis zu 24 Stunden dauern kann bis die Informationen im DNS-System eingepflegt werden und es hat auch einige Zeit gedauert. Beim Entfernen von Domains aus dem DNS-System scheinen diese 24 Stunden nicht zu gelten, heute gegen Mittag funktionierte noch alles korrekt. Ich muss ehrlich sagen das ich massiv enttäuscht bin, nicht nur von der Domain-Registry sondern auch von mir selber, eigentlich habe ich mir vorgenommen durch hohe Zuverlässigkeit zu glänzen aber bis jetzt will mir das nicht sonderlich gut gelingen. Wobei erst abschalten und dann den zahlenden Kunden zu informieren auch keine freundliche Methode ist. Bleibt abzuwarten ob sich das Problem noch jetzt am Wochenende lösen lässt oder ob es mindestens bis Montag dauert bis sich da etwas oder jemand bewegt.
Ich bleib da jetzt auf jeden Fall aktiv dran, versprochen!

Grüße
Erik

PS.: die Port-Nummer 5353 kann endgültig entfallen, die Port-Weiterleitung auf dem Server ist nicht dauerhaft konfiguriert. Alternativ zur IP 130.255.73.69 funktioniert auch die IP 134.255.238.129.
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon flegno » Sa Nov 15, 2014 9:22 pm

Hallo,
Erik_S hat geschrieben:Ich hab das leider ein wenig aus den Augen verloren, ich hab schließlich noch ein echtes Real-Live und anderen Mist zu tun. Jedenfalls hieß es vor 2 Wochen das es bis zu 24 Stunden dauern kann bis die Informationen im DNS-System eingepflegt werden und es hat auch einige Zeit gedauert. Beim Entfernen von Domains aus dem DNS-System scheinen diese 24 Stunden nicht zu gelten, heute gegen Mittag funktionierte noch alles korrekt. Ich muss ehrlich sagen das ich massiv enttäuscht bin ...

Du, Erik, wir sind alle nur Menschen und lernen immer was dazu. Ich habe vor Jahren einfach Glück gehabt, dass ich auf einen Webhoster geraten bin, der meine erste Domainregistrierung für mich erledigt hat. Bin übrigens immer noch bei diesem Hoster und zufrieden.

Gruss, Gustav
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: yacystats Neuauflage?

Beitragvon Erik_S » Fr Nov 21, 2014 3:56 pm

Hallo,

flegno hat geschrieben:Ich habe vor Jahren einfach Glück gehabt, dass ich auf einen Webhoster geraten bin, der meine erste Domainregistrierung für mich erledigt hat.
Dein Webhoster kümmert sich wahrscheinlich um alle technischen Details Deiner Domain. Aber wenn man von der Domain-Registratur unabhängige Server betreibt bekommt man nur ein Web-Formular in dem man die nötigen DNS-Records (IP-Adressen usw.) eingeben kann und sonst nichts. Das von zentraler Stelle (meine Domain-Registratur behauptet zwar die Sperre wäre direkt von der ICANN gekommen aber so zentral wird man sich mit Second-Level-Domains wohl nicht beschäftigen), also von der Registratur die für die drüber liegende Domain verantwortlich ist (.info in meinem Fall also die Firma Afilias), ist grundsätzlich in Ordnung nur sollten diese Vorgänge transparent für den Kunden sein und vor allem sollte man den Kunden vorher informieren wenn die Domain abgeschalten werden soll und nicht hinterher.
Zumindest hatte ich nach reichlich eMail-Verkehr im Laufe des Sonntags noch die Info bekommen das die Domain wieder freigeschalten wird aber die obligatorischen "bis zu 24 Stunden" wurden mehr als großzügig ausgeschöpft so das es bis Montag Abend dauerte bis wieder alles ging. Man hat mir zumindest versichert das sowas nicht so bald wieder passieren wird, erst in einem Jahr wird man die Registrierung der Domain wieder prüfen, also mir wieder eine eMail mit nem Bestätigungslink schicken der dann hoffentlich funktioniert.

Davon unabhängig habe ich in den letzten Tagen mehrere neue Versionen auf die beiden Server aufgespielt (die Server sind glücklicherweise von dem Domain-Gezänk komplett unabhängig) und ich bin sehr zufrieden das die interne Datenbank nicht mehr leer ist wenn mein yacyDNS neu gestartet wird. Diese interne Datenbank wird aber nicht von Festplatte geladen sondern von den anderen Instanzen, yacyDNS ist jetzt also selber eine Art Peer-to-Peer-Netzwerk, aber ein statisch konfiguriertes. Auch während des Betriebs tauschen die einzelnen Instanzen von yacyDNS regelmäßig ihre interne Datenbank aus und mergen die Informationen zusammen, auf diese Art wird weniger übersehen und ein Reset einer Instanz (so wie am 28.10.) hat keine drastischen Auswirkungen mehr auf den Dienst der per yacy.info angeboten wird. Also egal auf welchem der beiden Server man landet wenn man yacy.info im Browser aufruft, es kommen immer vergleichbare Informationen.

Auch das Feature "Proxy für die beiden YaCy-Top-Level-Domains (.yacy und .yacyh)" funktioniert nun korrekt, zumindest für .yacy, da der Browser immer die Groß-Klein-Schreibung zerstört und damit die Hashes verändert werden (die Base64-Codierung ist Case-Sensitiv und damit für Domain-Namen ungeeignet) funktioniert das für .yacyh nicht mit Firefox. Es reicht im AddOn "FoxyProxy" einfach yacy.info mit Port 80 als HTTP-Proxy für die beiden YaCy-Top-Level-Domains einzurichten und schon funktionieren auch in den Peer-Web-Interfaces alle Links auf andere Peers selbst wenn kein YaCy-Peer als fester Proxy konfiguriert ist.

Ansonsten hat sich in den letzten 3 Wochen vor allem einiges unter der Haube getan, primär Dinge die dem Betrieb der Domain yacy.info dienen, und als nächstes kommt der DNS-Server womit yacyDNS dann endlich seinem Namen gerecht wird. Danach möchte ich mich wieder mehr um das Web-Interface, also Optik usw., kümmern. Auch die API für den Forwarder steht dann auf der TODO-Liste.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Erik_S » Mo Nov 24, 2014 10:30 pm

Hallo,

ich habe am Wochenende fleißig weiter gecoded und mein yacyDNS enthält jetzt einen vollwertigen DNS-Server der nicht nur die Domain "yacy.info" managt sondern auch für die beiden YaCy-Top-Level-Domains ".yacy" / ".yacyh" gute Antworten liefert.
Wer will kann das auf der Konsole schon mal per "dig @yacy.info Peer-Name.yacy" oder "dig @yacy.info Peer-Hash.yacyh" ausprobieren (bei yacyh ist die Groß-Klein-Schreibung wichtig und wird normalerweise vom Tool "dig" auch beibehalten so das mein DNS-Server die richtige Antwort geben kann). Das Parameter "@yacy.info" ist leider erforderlich da diese beiden Top-Level-Domains nicht in der offiziellen Root-Zone enthalten sind und die Namensauflösung so einen Hinweis bekommen muss wo es einen geeigneten DNS-Server für diese Domains gibt. Für offizielle Top-Level-Domains kommt dieser Hinweis von den offiziellen Root-DNS-Servern aber die beantworten Anfragen nach ".yacy" / ".yacyh" leider nur mit "Gibt es nicht" und das ist für YaCy natürlich nicht zielführend. Da der Browser zur Namensauflösung immer das Betriebssystem bemüht und dieses per Default auf das offizielle DNS-System zugreift sind hier noch ein paar Tricks erforderlich damit eine Eingabe von "Peer-Name.yacy:8090/" in der Adress-Leiste eines beliebigen Browsers wirklich zum gewünschten Peer führt. Die explizite Angabe der Port-Nummer ist dabei leider erforderlich weil der Browser für HTTP immer nur auf Port 80 probiert, dazu beherrscht DNS zwar einen Trick (SRV-Records) mit dem man angeben kann auf welchem Port bestimmte Standard-Dienste (z.B. HTTP) verfügbar sind aber kein normaler Browser macht davon Gebrauch.
Bei der Variante mit yacyDNS als HTTP-Proxy sind diese Probleme zwar nicht vorhanden aber dafür ist es erforderlich "yacy.info" als HTTP-Proxy für die beiden YaCy-Top-Level-Domains im Browser zu konfigurieren.

Das Thema DNS funktioniert zwar fürs erste schon ganz gut aber es ist noch einiges zu tun.

Ich hab aber nebenbei auch die Statistik verfolgt, da diese ja nicht mehr nach jedem UpDate bei Null anfängt ist das nun auch recht interessant, und da ist mir aufgefallen das die Anzahl der nie erreichbaren Peers langsam ansteigt. In der Graphik auf yacy.info/stats_main ist das der Abstand zwischen der schwarzen Linie und der Unterkante der roten Fläche. Dafür gibt es meiner Meinung nach nur zwei mögliche Erklärungen: entweder tauchen neue Peers auf die nur so kurz online sind das sie es zwar schaffen sich zumindest in den Seed-Listen von ein paar wenigen YaCy-Peers einzutragen (durch die Pings der Peers untereinander) aber doch schnell genug wieder verschwinden bevor yacyDNS dazu kommt diesen Peer selber direkt anzusprechen (da von yacyDNS immerhin zwei Instanzen parallel laufen ist diese Zeitspanne im Schnitt nur ganz wenige Minuten lang). Die andere mögliche Erklärung ist das diese Peers den Senior-Status zu unrecht bekommen aber es trotzdem in die Seed-Listen mancher Peers schaffen, das würde eigentlich bedeuten das es einen Bug in YaCy gibt da Peers die nicht vom öffentlichen Internet aus erreichbar sind (und deswegen von yacyDNS auch nicht direkt angesprochen werden können) eben auch keinen Senior-Status bekommen dürfen.

Daneben ist mir noch aufgefallen das es nicht nur eine Schwankung der Anzahl der aktuell erreichbaren Peers über die Tageszeit gibt sondern das diese Schwankung sich primär auf Peers bezieht die nur per IPv4 erreichbar sind. Bei den Peers die per IPv6 (oder beiden IP-Varianten) erreichbar sind ist diese Schwankung fast gar nicht vorhanden. Ich vermute das bedeutet das primär die Leute die ihre Peers permanent online haben sich auch um zeitgemäße IPv6-Konktivität bemühen. Über die Art der Erreichbarkeit der tatsächlich aktiven Peers fehlt auf jeden Fall noch eine hübsche Graphik auf der Statistik-Seite, diese spezifische Korrelation ist mir erst beim Blick in die Statistik-Log-Files deutlich geworden. Wenn gewünscht baue ich dazu in mein yacyDNS eine passende API ein die diese Statistik als rohes XML ausgibt.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon TmoWizard » Mo Nov 24, 2014 11:48 pm

Hallo Erik,

das klingt doch sehr gut! Mein Peer gehört jedenfalls zu denen, die ständig online sind... außer natürlich bei einem entsprechenden Update, bei dem YaCy oder der Rechner neu gestartet werden muß oder bei der kurzen Zwangstrennung durch den Provider.

Derzeit "füttere" ich YaCy auch sehr viel über Feeds (Importfunktion), so daß auch mein eigener Index ständig wächst und ich so zumindest etwas zur Gemeinde beitragen kann. Allerdings paßt mir das nicht so ganz, daß die Konfiguration für eine Wiederholung auf 7 Tage steht und ich das ständig von Hand ändern muß. Die meisten Sites (z. B. Blogs und ähnliches) haben mehrmals täglich neue Artikel, ich stelle das also jedesmal auf 6 Stunden ein, so daß die Feeds 4 mal am Tag geprüft werden. Da darunter auch größere Verlage und so sind wächst mein Index ziemlich rasant! :mrgreen: Mal sehen, wann ich die 12.000.000 knacke.

Schade finde ich, daß immer noch so wenig Leute mitmachen. Wenn die Netzwerkübersicht stimmt, dann sind das weltweit gerade mal knappe 3.000 Peers! :( Bei den Suchergebnissen macht sich das natürlich bemerkbar, die sind einfach viel zu schlecht. Gerade wenn ich mal wieder für einen neuen Artikel auf meinem Blog recherchiere, dann ist YaCy im derzeitigen Zustand nicht wirklich zu gebrauchen. Es wird zwar besser, aber sehr langsam.

In das Thema DNS muß ich mich mal wieder einarbeiten, meine entsprechende Ausbildung in diese Richtung ist leider schon 15 Jahre her und ich habe mich da auch nicht mehr damit befaßt. Ist eine "Query time: 93 msec" nun gut oder schlecht? Bei ****.yacyh kommt übrigens folgende Meldung:

; (4 servers found)
;; global options: +cmd
;; connection timed out; no servers could be reached


Es konnte also kein Server erreicht werden, warum auch immer!
TmoWizard
 
Beiträge: 142
Registriert: So Jul 13, 2014 3:32 pm
Wohnort: Augsburg

Re: yacystats Neuauflage?

Beitragvon Erik_S » Di Nov 25, 2014 6:39 pm

Hallo,

TmoWizard hat geschrieben:Schade finde ich, daß immer noch so wenig Leute mitmachen.
Ja, vor allem das so viele Peers nie wieder kommen. In den Dumps der internen Datenbank von meinem Tool ist bei der überwiegenden Mehrheit aller Peers die aktuell offline sind die "LastSeen"-Zeit nur kurz hinter der "BirthDate"-Zeit was bedeutet das diese Peers frisch installiert werden dann kurz online sind und nach dem ersten Offline nicht wieder kommen. Wenn man sich in der Graphik auf meiner Statistik-Seite mal genau den Winkel der Unterkante der farbigen Flächen anschaut so sieht man das pro Tag etwa 40 bis 50 neue Peers dazu kommen aber die grüne Fläche, die angibt wie viele Peers zum jeweiligen Zeitpunkt online sind, ändert sich gar nicht, vom Rhythmus über die Tageszeit mal abgesehen. Die Anzahl der zu einem bestimmten Zeitpunkt aktiven YaCy-Peers schwankt schon solange wie ich jetzt an meinem Tool arbeite (dieser Thread beginnt Anfang September) immer um die 200, es sind in den vergangenen 2 Monaten definitiv kaum echte YaCy-Peers dazugekommen. Es gibt etwa 160 Peers die tatsächlich (weitestgehend) permanent online sind und dazu kommen etwa 70..80 weitere Peers die mehr oder weniger regelmäßig online sind (primär diese bilden die Schwankung in der grünen Fläche), viele davon täglich. Der ganze Rest sind die oben beschriebenen Eintagsfliegen. Der Grund warum die "Netzwerkübersicht" der YaCy-Peers etwa 3000 Peers meldet ist das Peers nach etwa 50 Tagen bis 2 Monaten ununterbrochener Abwesenheit aus der lokalen Datenbank der einzelnen YaCy-Peers gelöscht werden. Mein yacyDNS wird ebenfalls Peers die mehr als etwa 2 Monate nicht mehr gesehen wurden löschen, das ist bisher noch nicht passiert weil es einfach noch nie lang genug lief aber da nun die interne Datenbank nicht mehr verloren geht wird das demnächst eintreffen, so das sich die Anzahl der bekannten Peers ebenfalls auf einem bestimmten Level einpegeln wird.

TmoWizard hat geschrieben:Es konnte also kein Server erreicht werden
Welche Server konnten nicht erreicht werden?
Eine derartige Fehlermeldung habe ich bisher noch nicht gesehen, ich hab zwar erlebt das eine DNS-Anfrage mal verloren geht aber dann probiert dig es innerhalb weniger Sekunden einfach noch einmal und dann normalerweise mit Erfolg. UDP garantiert keine gesicherte Übertragung so das hin und wieder mal mit einzelnen Verlusten zu rechnen ist aber das stellt für DNS üblicherweise kein Problem dar.
DNS per TCP hab ich noch nicht eingebaut aber das kommt auch bald, TCP wird von DNS normalerweise nur benutzt wenn mehr als die klassischen 512 Byte pro DNS-Packet übertragen werden sollen und da die DNS-Antworten von yacyDNS bis jetzt immer in 512 Byte passen besteht da kein Grund zur Eile.

TmoWizard hat geschrieben:Ist eine "Query time: 93 msec" nun gut oder schlecht?
Eigentlich eher schlecht, ich hab hier etwa 20 bis 35 Millisekunden (wobei b.yacy.info tendenziell schneller ist als a.yacy.info, beides sind aber nur virtuelle Server die sich CPU und Netzwerk-Interface mit weiteren virtuellen Servern teilen müssen, echte dedicated Server wären besser sind aber nicht für 1,30 Euro/Monat verfügbar). Bis 100 Millisekunden ist aber normalerweise tolerabel.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Erik_S » Sa Dez 13, 2014 7:50 pm

Hallo,

momentan kommt eine ziemliche Menge an neuen YaCy-Peers hinzu. Bis gestern Mittag waren nie mehr als 220 Peers gleichzeitig online, gerade eben wurden auf http://yacy.info/stats_main mehr als 240 gemeldet.
Ist in den letzten 24 Stunden irgendetwas passiert das ich noch nicht mitbekommen habe?
Schade ist nur das von den neuen YaCy-Peers wohl nur wenige eine schnelle Internetanbindung haben da die Anzahl dieser Peers relativ gleich geblieben ist (und in Prozent sogar sinkt). Ansonsten sind in den letzten 24 Stunden mehr als 100 neue YaCy-Peers aufgetaucht, eine deutlich sichtbare Steigerung gegenüber den sonst üblichen 40 bis 50 neuen Peers pro Tag. Ich bin mal gespannt wie viele davon nur Eintagsfliegen sind und wie viele dauerhaft ein aktiver Teil des YaCy-Netzwerks bleiben. Auch die Anzahl der pro abgefragten Peer als bekannt gemeldeten anderen Peers ist angestiegen, wo bis gestern noch etwa 300 Peers die Regel waren sind nun zwischen 350 bis 430 bekannte Peers normal.

Am Morgen des 10.12. habe ich das letzte mal ein Update auf beide Server eingespielt das ein Problem mit dem Handling von Kollisionen bei den Peer-Namen/Hashes behoben hat. Die nicht korrekte Behandlung der Kollisionen hat dazu geführt das die Anzahl der als aktiv erkannten YaCy-Peers zwischen etwa dem 20.11. und dem 09.12. kontinuierlich gesunken ist, zuletzt wurden selbst als Spitzenwert keine 200 Peers mehr als online erkannt. Im Tagesverlauf des 10.12. und 11.12. sieht man dass das Problem behoben ist, diese 2 Tage ähneln optisch und auch in absoluten Zahlen stärker der Zeit (vor dem 13.11.) als die interne Datenbank noch bei jedem Software-Neustart verloren ging also neu aufgebaut wurde und damit auch Alterungsprobleme kaschiert wurden.

Mit der Stabilität das Gesamt-Systems bin ich momentan recht zufrieden, der Server hinter a.yacy.info arbeitet seit Anfang November ununterbrochen und b.yacy.info hatte am 29.11. nur einen kurzen BlackOut aber ohne das dadurch die interne Datenbasis beeinträchtigt wurde. Der Service als ganzes war durchgehend permanent erreichbar, das Konzept der Redundanz bzw. des Load-Balancing funktioniert also.

Erik_S hat geschrieben:Mein yacyDNS wird ebenfalls Peers die mehr als etwa 2 Monate nicht mehr gesehen wurden löschen, das ist bisher noch nicht passiert weil es einfach noch nie lang genug lief aber da nun die interne Datenbank nicht mehr verloren geht wird das demnächst eintreffen,
Genau das passiert seit dem 27.11. aber es werden pro Tag nur relativ wenige Peers gelöscht, zumindest deutlich weniger als neu auftauchen. Ich vermute dass das daher kommt das viele Peers in der Datenbank beim letzten echten Neustart meines Tools (am 13.11.) von YaCy-Peers gelernt wurden die dort bereits veraltet waren. Die meisten der gelöschten Peers wurden von meinem Tool selber nie gesehen so das diese Anzahl seit dem 27.11. langsam aber kontinuierlich sinkt.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Erik_S » Mi Dez 17, 2014 5:05 pm

Hallo,

der massive Ansturm an neuen YaCy-Peers ist erst einmal abgeebbt aber es sind jetzt etwa 20 bis 30 Peers mehr online gegenüber der selben Tageszeit von vor dem Wochenende. In gut 2 Tagen sind knapp 300 neue YaCy-Peers aufgetaucht wovon derzeit etwa 40 bis 60 Peers keine Eintagsfliegen geblieben sind, die Anzahl der Peers die in den vergangenen 7 Tagen mindestens einmal online waren ist jedenfalls deutlich gestiegen. Am Sonntag waren im Maximum mehr als 270 YaCy-Peers gleichzeitig online, zuvor lag dieses Maximum bei gut 230 YaCy-Peers. Die Anzahl der pro Peer als bekannt gemeldeten Peers ist seit dem Wochenende auf etwa 350 gesunken, es stellt sich also wieder eine Normalisierung ein.

Ist dass das Vorweihnachtsgeschäft von YaCy? Zum 3. Advent. ;)

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: yacystats Neuauflage?

Beitragvon Orbiter » Mi Dez 17, 2014 9:43 pm

der Traffic kam von hier: https://news.ycombinator.com/item?id=8746883
Vor drei Tagen gab es in Spitzenzeiten 400 neue Besucher pro Minute auf yacy.net wegen diesem Posting.
Auf Twitter war auch ganz schön was los: https://twitter.com/search?q=yacy&src=typd
Man kann das ganze auch im YaCy piwik sehen: http://anomic.de/piwik/
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacystats Neuauflage?

Beitragvon LA_FORGE » Sa Mai 23, 2015 4:28 pm

Hi,

ich vermisse die yacystats.de sehr. Jetzt wurde sogar die Domain abgeschaltet :-( Ich habe mir gedacht ich spiele mal etwas mit Piwik rum, habe es in alle möglichen html-Seiten von YaCy eingebaut, schade, dass es in der transferRWI.html und transferURL.html usw. nicht funzt, sonst hätte man mal alles analysieren können. Ich habe hier innerhalb von 2 Stunden

http://imgur.com/SLsI9gC

Zugriffe von über 2000 unterschiedlichen IP-Adressen auf meinen YaCy-Peer. Schade, dass Piwik nicht auf Layer 4 des OSI-Modells lauscht. Könnte man es evtl. anderweitig dazu überreden auch die transferRWI, transferURL, query und hello.html zu monitoren oder "vor" YaCy schalten?

VG

Stefan
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Nächste

Zurück zu Off-Topic

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron